Đầu thế kỷ XVI, Vương quốc Johor được Alauddin Riayat Shah II thành lập, ông là con trai của Sultan cuối Malacca cuối cùng là Mahmud Shah, đào thoát khỏi cuộc xâm chiếm của người Bồ Đào Nha tại Malacca. Vương quốc Johor là một trong hai quốc gia kế thừa của Malacca, đến khi Malacca thất bại trước người Bồ Đào Nha vào năm 1511, Alauddin Riayat Shah II lập một chế độ quân chủ tại Johor và tạo một mối đe dọa cho người Bồ Đào Nha. Vương quốc Perak là quốc gia kế thừa khác của Malacca và do một người con khác của Mahmud Shah là Muzaffar Shah I thành lập. Trong đỉnh cao của Johor, toàn bộ Pahang cùng quần đảo Riau và một bộ phận đảo Sumatra nằm dưới quyền cai trị của Johor.

Johor tiến hành một loạt đấu tranh liên tục được xen kẽ bằng các liên minh chiến lược với các gia tộc trong khu vực và thế lực ngoại quốc, giúp duy trì vị thế chính trị và kinh tế của vương quốc tại eo biển Malacca. Trong cuộc cạnh tranh với người Aceh tại miền bắc đảo Sumatra và vương quốc hải cảng Malacca dưới quyền Bồ Đào Nha, Johor liên kết với các kình địch của họ, nổi bật là các liên minh với các quốc gia Mã Lai thân thiện và với người Hà Lan. Năm 1641, Johor phối hợp với người Hà Lan chiếm thành công Malacca. Đến năm 1660, Johor trở thành một nơi trung chuyển hưng thịnh, song suy yếu và tan rã vào cuối thế kỷ XVII và thế kỷ XVIII, khiến chủ quyền của vương quốc cũng suy giảm.

Trong thế kỷ XVIII, người Bugis từ Sulawesi và người Minangkabau từ Sumatra kiểm soát quyền lực chính trị tại Vương quốc Johor-Riau. Tuy nhiên, đến đầu thế kỷ XIX, chủ yếu là sự kình địch của người Mã Lai và Bugis. Năm 1819, Vương quốc Johor-Riau bị phân thành Johor do Temenggong kiểm soát, và Vương quốc Riau-Lingga do người Bugis kiểm soát. Năm 1855, theo các điều khoản của một hiệp định giữa người Anh và Sultan Ali của Johor, quyền kiểm soát quốc gia chính thức được nhượng cho Dato' Temenggong Daing Ibrahim, ngoại trừ khu vực Kesang (Muar), nơi này bị chuyển giao vào năm 1877. Temenggong Ibrahim cho mở Bandar Tanjung Puteri (sau này trở thành Johor Bharu) tại miền nam Johor.

Kế vị Temenggong Ibrahim là con trai tên Dato' Temenggong Abu Bakar, người này sau đó được Nữ vương Victoria của Anh ban tước Seri Maharaja Johor. Năm 1886, ông chính thức đăng quang làm Sultan của Johor. Sultan Abu Bakar của Johor (1864–1895) bổ sung một hiến pháp quốc gia, phát triển một chính quyền kiểu Anh và cho xây dựng dinh thự chính thức của Sltan mang tên Istana Besar. Nhờ các thành tựu của mình, Sultan Abu Bakar được gọi là "Cha của Johor hiện đại". Nhu cầu gia tăng đối với hồ tiêu và câu đằng trong thế kỷ XIX dẫn đến mở cửa đất canh tác cho dòng người Hoa nhập cư, điều này tạo cơ sở kinh tế ban đầu cho Johor.[5][6] Hệ thống Kangchu (cảng chủ) hình thành khi xuất hiện điểm định cư đầu tiên là Kangkar Tebrau vào năm 1844.[7] Sự suy yếu của hệ thống Kangchu vào cuối thế kỷ XIX trùng hợp với việc khánh thành tuyến đường sắt nối Johor Bahru và Các quốc gia Mã Lai Liên bang vào năm 1909 và nổi lên các đồn điền cao su khắp bang.[8] Dưới hệ thống Công sứ Anh, Sultan Ibrahim buộc phải chấp thuận một cố vấn người Anh vào năm 1904. D.G. Campbell là cố vấn người Anh đầu tiên được phái đến Johor. Từ thập niên 1910 đến thập niên 1940, Johor nổi lên thành quốc gia sản xuất cao su đứng đầu tại Malaya, và vẫn duy trì vị trí này cho đến những năm gần đây. Cho đến gần đây, Johor là nơi sản xuất dầu cọ lớn nhất tại Malaysia.

Trong Chiến tranh thế giới thứ hai, Johor Bahru là thành phố cuối cùng tại bán đảo Mã Lai thất thủ trước người Nhật. Lực lượng Đồng minh, Úc, Malaya và Ấn Độ cầm cự trong bốn ngày trong sự kiện được gọi là trận Gemas. Tướng Yamashita Tomoyuki đặt trụ sở của mình tại đỉnh của Bukit Serene và điều phối tấn công Singapore.

Johor là nơi khởi nguồn phong trào phản kháng của người Mã Lai, làm thất bại kế hoạch Liên minh Malaya. Người Mã Lai dưới sự lãnh đạo của Dato' Onn Jaafar's thành lập Tổ chức Dân tộc Mã Lai Thống nhất (UMNO) tại Johor vào ngày 11 tháng 5 năm 1946. Năm 1948, Johor gia nhập Liên bang Malaya, là chính thể giành độc lập vào năm 1957.